Teaching Nemotron Greek: Mining a Corpus, Adapting Retrieval, and Grounding Generation for Modern Greek across Specialist Domains
教Nemotron希腊语：专业领域现代希腊语RAG全流程构建
🧭 低资源语言RAG全栈适配 · 领域检索增强生成
Sophea AI, KIEFER SA, Athens, Greece
为低资源语言从头搭建检索增强生成系统，合成监督、微调嵌入与重排、适配生成，并发布基准HERA。
📌 工作参考价值（4 点）
- 不要迷信多语言密集检索：在特定领域（如电商商品描述、客服文档），先跑一个BM25作为基线，很可能强过通用多语言嵌入模型，尤其在低资源语言场景。
- 小规模领域检索对微调有大收益：仅用6.5万合成希腊语检索对微调1B嵌入模型，nDCG@10从0.362涨到0.835。在电商垂直领域，可以自动构建（query, 商品/文档）对来微调嵌入模型，成本低但效果显著。
- 重排器也需要领域适配：现成跨编码器重排器在不同领域表现不一致，用领域数据微调后能变成稳定增益。构建RAG系统时，别忽略重排环节的定制训练。
- LoRA微调MoE阅读器大幅提升答案质量：仅LoRA调优30B-A3B的MoE模型，答案正确率从29.4%升至66.9%，且忠实性和引用质量显著改善。对于需要从长文档中提取证据的场景（如电商说明书、政策文档），用LoRA高效地让大模型接地气。